TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
TauIndianBankBench：面向工具调用对话代理的过程感知行动导向评估基准
🧭 过程感知的行动导向评估基准
National Payments Corporation of India (NPCI)
提出银行客服对话代理评估基准，除最终记录外检查必需步骤执行与未请求变更，暴露仅看结果的假阳性
📌 工作参考价值（4 点）
- 评估不能只看最终状态：在电商客服或推荐对话场景中，很多关键动作（如查询库存、确认地址、风控校验）不改变最终记录但影响服务质量。建议在评估 Agent 时增加"过程步骤检查"，防止模型跳过合规步骤却得到正确结果。
- 构建 action-oriented 测试集：用模拟用户 + 工具调用日志的方式，将业务规则编码为"必需步骤"和"禁止变更"，可复用于电商售后、广告投放审核等 Agent 的回归测试，尤其适合有 SOP 的流程。
- 关注未请求的变更：模型有时会主动执行用户未要求的操作（如擅自修改订单、发送通知），这类错误在结果导向评估中难以发现。应单独统计 unrequested change 的比例，作为安全指标。
- 低资源领域适配：该 benchmark 针对印度零售银行这类非英语主流、流程固定的场景，提示我们在垂直业务中自建轻量级评估集，比通用 benchmark 更能反映真实风险。